21 декабря в Суперкомпьютерном центре Барселоны — Centro Nacional de Supercomputación (BSC-CNS) — в торжественной обстановке официально запустили европейский суперкомпьютер MareNostrum 5 производительностью 314 Пфлопс. В церемонии, посвящённой машине, созданной в рамках проекта European High Performance Computing Joint Undertaking (EuroHPC JU), принял участие председатель правительства Испании.

MareNostrum 5 представляет собой крупнейшую инвестицию, когда-либо сделанную Европой в научную инфраструктуру Испании — суммарно €202 млн, из которых €151,4 млн ушло на приобретение суперкомпьютера. Финансирование было проведено EuroHPC JU через Фонд ЕС «Соединение Европы» и программу исследований и инноваций «Горизонт 2020», а также государствами-участниками: Испанией (через Министерство науки, инноваций и университетов и правительство Каталонии), Турцией и Португалией.

С запуском MareNostrum 5 заметно укрепились позиции BSC в качестве одного из ведущих суперкомпьютерных центров мира с более чем 900 сотрудниками, занимающимися исследования в области информатики, наук о жизни и о Земле, а также вычислительных систем для науки и техники. Обладая максимальной общей производительностью 314 Пфлопс, MareNostrum 5 присоединяется к двум другим системам EuroHPC: Lumi (Финляндия) и Leonardo (Италия), тоже являющихся суперкомпьютерами предэкзафлопсного класса, единственными системами такого уровня в Европе.

Источник изображений: BSC

Eviden (Atos) была выбрана в качестве основного поставщика, но в создании машины приняли участие Lenovo, IBM, Intel и NVIDIA, а также Partec. Как отмечено в пресс-релизе, уникальная архитектура MareNostrum 5 была создана для того, чтобы предоставить исследователям лучшие из доступных технологий. Это гетерогенная машина, сочетающая в себе две отдельные системы: раздел общего назначения (GPP), предназначенный для классических вычислений, и GPU-раздел (ACC), ориентированный на ИИ. Обе системы по отдельности входят в первую двадцатку TOP500, занимая 19-е и 8-е места соответственно.

Раздел общего назначения (GPP) является крупнейшим в мире x86-кластером на базе Intel Xeon Sapphire Rapids. Эта часть суперкомпьютера имеет пиковую производительность 45,9 Пфлопс. Система, произведённая Lenovo, специально разработана для решения сложных научных задач с разделением ресурсов, что обеспечивает большую гибкость и повышает эффективность системы, поскольку разные пользователи или проекты могут использовать её одновременно. GPP имеет 6408 стандарных узлов следующей конфигурации:

• 2 × Intel Xeon 8480+ (56 ядер, 2 ГГц);
• 256 Гбайт DDR5 (216 узлов с 1 Тбайт RAM);
• NVMe SSD на 960 Гбайт;
• 1 × InfiniBand NDR200, общий для двух узлов (SharedIO, 100 Гбит/с на узел).

Дополнительно система имеет 72 узла с двумя 56-ядерными Xeon Max (1,7 ГГц) и набортной памятью HBM2e объёмом 128 Гбайт.

GPU-раздел (ACC) производства Eviden является третьим по мощности в Европе и восьмым в мире по версии TOP500, с пиковой производительностью 260 Пфлопс. Он основан на 4480 ускорителях NVIDIA H100. Раздел имеет 1120 узлов, каждый из которых включает:

• 2 × Intel Xeon 8460Y+ (32 яда, 2,3 ГГц);
• 512 Гбайт DDR5;
• 4 × NVIDIA H100 с 64 Гбайт HBM3;
• NVMe SSD на 460 Гбайт;
• 4 × InfiniBand NDR200.

Общая ёмкость хранилища MareNostrum 5 составляет 650 Пбайт, из которых, 402 Пбайт приходятся на LTO, 248 Пбайт — на HDD, а остальное — на NVMe SSD. Задействована ФС IBM Spectrum Scale. Машина использует интерконнект InfiniBand NDR200, объединяющий более 8000 узлов. Можно заметить, что NVIDIA предоставила BSC не совсем стандартные решения. В будущем ожидается появление ещё одного GPP-раздела на базе NVIDIA Grace, а вот расширение ACC узлами с Xeon Emerald Rapids и Rialto Bridge не состоится.

Благодаря увеличенной вычислительной мощности MareNostrum 5 позволяет решать всё более сложные задачи. Например, климатические модели получат более высокое разрешение, что сделает прогнозы гораздо более точными и надёжными. Также появится возможность решать гораздо более сложные проблемы в области ИИ и Big Data. Отдельное внимание уделено поддержке европейских медицинских исследований в области создания новых лекарств, разработки вакцин и моделирования распространения вирусов.

Суперкомпьютер также станет важнейшим инструментом для материаловедения и инженерии, включая проектирование и оптимизацию самолётов, развитие более безопасной, экологически чистой и эффективной авиации. Аналогичным образом, машина будет использоваться для моделирования процессов энергогенерации, включая ядерный синтез.

В ближайшие месяцы MareNostrum 5 объединится с двумя квантовыми компьютерами: первой системой испанской суперкомпьютерной сети (RES), которая является частью инициативы Quantum Spain, и одним из первых европейских квантовых компьютеров EuroHPC JU. Оба квантовых компьютера будут одними из первых, которых запустили в Южной Европе.

На днях корпорация Intel анонсировала процессоры Xeon Scalable 5-го поколения. Как выяснилось, в это семейство вошли не только изделия Emerald Rapids, но и чипы Sapphire Rapids. Напомним, что серия Sapphire Rapids стала основой платформы Xeon Scalable 4-го поколения.

Новейшие процессоры Emerald Rapids производятся по технологии Intel 7 (10 нм ESF), насчитывают до 64 вычислительных ядер, поддерживают восемь каналов оперативной памяти DDR5-4400/5200/5600 и до 80 линий PCIe 5.0, а также Compute Express Link (CXL) Type 1/2/3. Показатель TDP достигает 385 Вт.

Источник изображений: Intel

На сайте Intel говорится, что в список изделий Emerald Rapids входят 28 продуктов. Вместе с тем в перечне Xeon 5-го поколения значатся 32 процессора: сюда дополнительно входят изделия Xeon Bronze 3508U, Xeon Silver 4509Y, Xeon Silver 4510 и Xeon Silver 4510T. Все они относятся к поколению Sapphire Rapids.

Перечисленные чипы также производятся по технологии Intel 7. Модели Xeon Bronze 3508U и Xeon Silver 4509Y наделены восемью ядрами, при этом второй из этих чипов поддерживает технологию многопоточности. Тактовая частота составляет соответственно 2,1–2,2 ГГц и 2,6–4,1 ГГц. Величина TDP в обоих случаях равна 125 Вт. При этом 3508U, похоже, является вообще единственным CPU в семействе, у которого есть только один FMA-порт.

Процессоры Xeon Silver 4510 и Xeon Silver 4510T получили 12 ядер с возможностью обработки 24 потоков инструкций. Частота варьируется в диапазонах 2,4–4,1 ГГц и 2,0–3,7 ГГц. Показатель TDP — 150 и 115 Вт. Первые три из перечисленных чипов ориентированы на серверы и корпоративные системы, а четвёртый может также применяться в индустриальном оборудовании с расширенным диапазоном рабочих температур.

Иными словами, все модели Emerald Rapids относятся к Xeon Scalable 5-го поколения, но не все Xeon Scalable 5-го поколения являются изделиями Emerald Rapids. Это может создать некоторую путаницу среди потребителей.

Компания VMware объявила о том, что для платформы VMware Cloud on AWS реализована поддержка инстансов Amazon EC2 M7i bare-metal (m7i.metal-24xl) на базе кастомных Intel Xeon Sapphire Rapids. Конфигурация включает 96 vCPU и около 414 Гбайт памяти. Решение, как отмечается, поможет клиентам ускорить миграцию в облако и модернизацию корпоративных приложений.

VMware Cloud on AWS позволяет работать с ПО VMware для программно-определяемых центров обработки данных (SDDC) корпоративного класса в облаке AWS, используя оптимизированный доступ к собственным сервисам AWS. Платформа создана на основе VMware Cloud Foundation. Сервис совмещает решения для вычислений, хранения данных и виртуализации сети (VMware vSphere, VMware vSAN и VMware NSX), а также инструменты управления VMware vCenter Server, оптимизированные для работы в выделенной эластичной инфраструктуре AWS. VMware Cloud on AWS предоставляет однопользовательскую среду с поддержкой от 4 до 16 хостов на каждый кластер vSphere.

Источник изображения: AWS

Объединив M7i bare metal с томами Amazon FSx для NetApp ONTAP и VMware Cloud Flex Storage, клиенты могут расширять хранилище по мере необходимости независимо от вычислительных мощностей, чтобы максимизировать использование ресурсов. Для рабочих нагрузок с интенсивным вводом-выводом, требующих высокой производительности и низких задержек, заказчики могут продолжать использовать существующие экземпляры i3en и i4i с гиперконвергентной архитектурой.

В целом, благодаря M7i bare metal пользователи VMware Cloud on AWS смогут ускорить перенос нагрузок в облако, сократить время восстановления после сбоев и атак программ-вымогателей, а также повысить эффективность развёртывания приложений ИИ и машинного обучения при снижении совокупной стоимости владения, сообщает компания.

Облачная платформа AWS представила инстансы Amazon EC2 U7i, предназначенные для поддержки крупных in-memory СУБД, включая SAP HANA, Oracle и SQL Server. Новые инстансы используют кастомные процессоры Intel Xeon Sapphire Rapids и обеспечивают по сравнению с инстансами EC2 High Memory первого поколения до 125 % большую вычислительную производительность и до 120 % большую производительность памяти.

EC2 U7i также обеспечивают в 2,5 раза большую пропускную способность EBS-томов, позволяя наполнять базы данных in-memory со скоростью до 44 Тбайт/час. Инстанс U7i поддерживает подключение до 128 томов EBS gp2/gp3 или io1/io2. Каждый том io2 Block Express может иметь размер до 64 ТиБ и обеспечивать производительность до 256 тыс. IOPS со скоростью до 32 Гбит/с.

Инстансы поддерживают адаптеры ENA Express, обеспечивающем пропускную способность до 25 Гбит/с на каждый сетевой поток. Всего же каждый инстанс может получить 100-Гбит/с подключение для работы с сетью и EBS. Максимальная конфигурация включает 896 vCPU и 32768 ГиБ оперативной памяти. В число поддерживаемых U7i операционных систем входят Red Hat Enterprise Linux и SUSE Enterprise Linux Server. Инстансы U7i в виде превью доступны в регионах US West (Орегон), Азиатско-Тихоокеанском (Сеул) и Европейском (Франкфурт).

Компания MSI на конференции по высокопроизводительным вычислениям SC23 представила новые серверы на процессорах AMD EPYC Genoa и Intel Xeon Sapphire Rapids. Устройства ориентированы на дата-центры и подходят для НРС-нагрузок, генеративного ИИ и других ресурсоёмких задач.

Одна из новинок — платформа G4201, которая допускает установку двух чипов Xeon Sapphire Rapids и 32 модулей оперативной памяти DDR5. Этот сервер формата 4U располагает восемью слотами PCIe 5.0 x16 для ускорителей высотой в два слота, а также двумя PCIe 5.0 x16 для карт толщиной в один слот.

Дебютировал также сервер G4101 типоразмера 4U. Он рассчитан на один чип EPYC Genoa (до 128 ядер; TDP до 500 Вт) и 12 модулей DDR5-4800. Возможно применение жидкостного охлаждения. Доступны четыре разъёма PCIe 5.0 х16 для трёхслотовых ускорителей и ещё два разъёма PCIe 5.0 x16. Во фронтальной части расположены отсеки для 12 накопителей U.2 NVMe или SAS/SATA (SFF). Кроме того, предусмотрены два коннектора M.2 M-Key (2280/22110, PCIe 3.0 x4/x2). Питание обеспечивают два блока мощностью 3000 Вт каждый.

Источник изображений: MSI

Ещё одна новинка — модель G3101, получившая исполнение 3U. Она допускает установку одного процессора EPYC 7002/7003 с 64 ядрами (до 300 Вт) и восьми модулей DDR4-3200. Поддерживается развёртывание СЖО. Есть шесть отсеков для SFF-накопителей с интерфейсом SATA-3 и четыре слота PCIe 4.0 x16 для карт FHFL. Предусмотрены два сетевых порта 10GbE на базе Intel X710AT2. В оснащение включены два блока питания на 1600 Вт.

Кроме того, MSI анонсировала два сервера с поддержкой Compute Express Link (CXL) — модели S1301 и S2302, оптимизированные для задач с интенсивным использованием данных. Характеристики версии S1301 формата 1U таковы: два процессора EPYC 9004 (Genoa) с 32 ядрами и TDP до 210 Вт, 24 слота для модулей DDR5-4800, два разъёма PCIe 5.0 x16 для ускорителей HHHL, 10 отсеков для накопителей E3.S CXL, два коннектора M.2 M-Key 2280 (PCIe 3.0 x2) и два блока питания мощностью 1600 Вт.

В свою очередь, сервер S2302 стандарта 2U поддерживает два чипа Xeon Sapphire Rapids (до 60 ядер; 350 Вт), 32 модуля DDR5-4800, три ускорителя PCIe 5.0 x16  FHFL и две карты PCIe 5.0 x16 HHHL. Накопители могут устанавливаться по схеме 8 × E3.S CXL и 2 × E3.S PCIe 5.0 SSD или 10 × E3.S PCIe 5.0 SSD. Применены два блока питания на 1600 Вт.

Компания Nebius N.V. со штаб-квартирой в Нидерландах, созданная бывшими сотрудниками «Яндекса», вошла в первую двадцатку ноябрьского рейтинга мощнейших суперкомпьютеров мира TOP500 со своей НРС-системой ISEG. Этот вычислительный комплекс, названный в честь сооснователя «Яндекса» Ильи Сегаловича, расположился на 16-й строке списка.

Источник изображения: Nebius

В основу ISEG положены HGX-узлы Gigabyte G593-SD0 с двумя процессорами Intel Xeon Sapphire Rapids и восемью ускорителями NVIDIA H100 (SXM). В частности, задействованы чипы Platinum 8468 (48 ядер; 96 потоков; 2,1–3,8 ГГц; 350 Вт). Общее количество ядер в составе суперкомпьютера достигает 218 880. Применён интерконнект Infiniband NDR400.

Производительность ISEG достигает 46,54 Пфлопс (FP64), пиковое быстродействие — 86,79 Пфлопс. С такими показателями система оставляет далеко позади все российские суперкомпьютеры. В частности, самый мощный НРС-комплекс РФ — «Червоненкис» компании «Яндекс» — располагается только на 36-й позиции с результатом 21,53 Пфлопс. Таким образом, по быстродействию этот суперкомпьютер уступает системе ISEG более чем в два раза.

Источник изображения: Nebius

Forbes отмечает, что в процессе создания ISEG интеллектуальная собственность и технологии «Яндекса» не использовались. Тестирование суперкомпьютера для рейтинга TOP500 проводилось с ОС Ubuntu Linux 20.04. Энергопотребление системы составило 1,32 МВт. В списке Green500 машина занимает 15-е место.

Корпорация Intel на конференции по высокопроизводительным вычислениям SC23 рассказала о новых суперкомпьютерах, попавших в ноябрьский рейтинг TOP500. Речь, в частности, идёт о вычислительных комплексах Dawn (Phase 1), SuperMUC-NG (Phase 2) и Crossroads.

Система Dawn, созданная специалистами Intel, Dell Technologies и Кембриджского университета, рассчитана на задачи ИИ. В основу положены серверы Dell PowerEdge XE9640 с жидкостным охлаждением. В общей сложности задействованы 256 узлов, в состав которых входят 512 процессоров Intel Xeon Sapphire Rapids — Platinum 8468 с 48 ядрами (96 потоков; 2,1–3,8 ГГц; 350 Вт).

Суперкомпьютер Dawn использует 1024 ускорителя Intel Data Center GPU Max 1550. Общий объём памяти DDR составляет 256 Тбайт, а её пропускная способность достигает 157 Тбайт/с. Кроме того, задействовано 128 Тбайт памяти НВМ с пропускной способностью до 3,3 Пбайт/с.

Подсистема хранения данных вместимостью 3 Пбайт обеспечивает скорость до 2 Тбайт/с. Агрегированная пропускная способность сети — до 25,6 Тбайт/с. Заявленная производительность достигает 19,46 Пфлопс (FP64). Это соответствует 41-му месту в ноябрьском рейтинге ТОР500. Пиковое быстродействие — 53,85 Пфлопс. Система установлена в лаборатории Cambridge Open Zettascale Lab (Великобритания).

Источник изображения: Intel

В свою очередь, комплекс SuperMUC-NG (Phase 2) смонтирован в Суперкомпьютерном центре Лейбница Баварской академии наук (Германия). Этот суперкомпьютер базируется на серверах Lenovo ThinkSystem SD650-I V3 Neptune DWC с прямым жидкостным охлаждением. Установлены 240 узлов, в состав которых входят в общей сложности 480 процессоров Intel Xeon Platinum 8480L (56 ядер; 112 потоков; 2,0–3,8 ГГц; 350 Вт) и 960 ускорителей Data Center GPU Max.

Источник изображения: Intel

Комплекс SuperMUC-NG (Phase 2) оперирует 123 Тбайт памяти DDR с пропускной способностью до 147 Тбайт/с. Память НВМ такого же объёма обеспечивает пропускную способность до 3,1 Пбайт/с. Применено хранилище на 1 Пбайт со скоростью 750 Гбайт/с. Пропускная способность сети — до 12 Тбайт/с. Суперкомпьютер обладает производительностью 17,19 Пфлопс (FP64): в списке ТОР500 система располагается на 52-й строке.

Наконец, суперкомпьютер Crossroads размещён в Лос-Аламосской национальной лаборатории (LANL) Министерства энергетики США. Система обладает производительностью 30,03 Пфлопс (FP64). Задействованы 2600 чипов Intel Xeon CPU Max 9480 с 56 ядрами и памятью HBM. Система находится на 24-м месте рейтинга ТОР500. Всего же в новой редакци рейтинга есть 20 новых машин на базе Sapphire Rapids, из которых пять используют Max-версию процессоров, а также четыре системы с ускорителями Data Center GPU Max.

Корпорация Dell анонсировала программно определяемую объектную систему хранения данных ObjectScale XF960. Новинка, ставшая первым представителем семейства ObjectScale X Series, ориентирована на задачи генеративного ИИ и аналитику в реальном времени. В состав системы входят серверы PowerEdge, коммутаторы, необходимое стоечное оборудование и кабели. Применена программная платформа ObjectScale v1.3.

В зависимости от конфигурации ObjectScale XF960 объединяет от 4 до 16 узлов. Каждый из них несёт на борту два 32-ядерных процессора Intel Xeon Sapphire Rapids и 256 Гбайт оперативной памяти. Предусмотрены два загрузочных накопителя с зеркалированием для обеспечения надёжности. Сетевая подсистема включает по два порта 100 GbE (back-end) и 25 GbE (front-end).

Система относится к классу All-Flash. В оснащение каждого из 2U-узлов входят 24 накопителя NVMe на основе флеш-памяти TLC вместимостью 30,72 Тбайт. Таким образом, суммарная «сырая» ёмкость составляет 737,3 Тбайт. В максимальной конфигурации с 16 узлами общая вместимость достигает 11,8 Пбайт.

Источник изображения: Dell

Dell заявляет, что ObjectScale XF960 — это полностью интегрированная система «под ключ» и самая мощная в мире объектная платформа хранения данных, созданная специально для Kubernetes. Система способна обеспечить скорость чтения до 5,7 Гбайт/с и скорость записи до 5,0 Гбайт/с на каждый узел.

Dell Technologies, Intel и Кембриджский университет объявили о создании в Великобритании разработанного совместными усилиями суперкомпьютера Dawn. Запуск будет осуществляться в два этапа. Первый будет выполнен в течение двух месяцев, то есть до конца года. На втором этапе, который буде завершён в 2024 году, производительность Dawn будет увеличена в десять раз, будет завершена в следующем году. Подробные характеристики Dawn будут объявлены на SC23 в этом месяце.

Суперкомпьютер Dawn установлен в лаборатории Cambridge Open Zettascale Lab. Как сообщает Dell, это будет самое мощное суперкомпьютерное ИИ-облако на базе OpenStack, разработанное совместно с британской SME StackHPC. Машина использует серверы Dell PowerEdge XE9640 с процессорами Sapphire Rapids и ускорителями Max. Всего задействовано более 1 тыс. ускорителей.

Платформа Scientific OpenStack с открытым исходным кодом обеспечит полностью оптимизированную для ИИ и моделирования облачную HPC-среду. Отмечена и поддержка Intel oneAPI для гетерогенных вычислений. Предполагается, что суперкомпьютер будет использоваться для выполнения сложных вычислительных задач в области академических и промышленных исследований, здравоохранения, инжиниринга и моделирования климата.

Изображение: Intel

В следующем году в Великобритании также будет построен суперкомпьютер Isambard-AI, который вместе с Dawn будет включён в проект AI Research Resource (AIRR), созданный британским правительством для оказания помощи национальным разработчикам ИИ. Isambard-AI и Isambard-3 будут построены HPE с использованием Arm-чипов NVIDIA Grace и Grace Hopper. При этом и Dell, и HPE одновременно заявили, что именно их детища будут самыми быстрыми ИИ-суперкомпьютерами в стране.

Спрос на ИИ-ускорители NVIDIA так высок, что производитель чипов не может удовлетворить его в полной мере. В результате, как сообщает The Korean Economic Daily, создатель ведущего поискового портала Южной Кореи — компания Naver Corporation — для ряда ИИ-нагрузок перешла с использования ускорителей NVIDIA на Intel Xeon Sapphire Rapids, как из-за дефицита, так и по причине роста цен на продукцию.

По данным СМИ, Naver Corp. начала использовать решения Intel для ИИ-серверов картографического сервиса Naver Place. Корейский IT-гигант использует ИИ-модель для распознавания ложных данных в случаях, когда пользователи ведут поиск по ключевым запросам вроде «ближайшие рестораны» в приложении Naver Map. Ранее именно продукты NVIDIA применялись для обработки таких данных. Впрочем, речь идёт в первую очередь об инференсе, а для обучения моделей компания всё равно вынуждена использовать ИИ-ускорители.

Приобрести ИИ-ускорители NVIDIA, включая H100, стало очень сложно, а цены на последние с начала года выросли в Южной Корее вдвое. Но даже если у вас есть средства, время с момента размещения заказа на ускорители до их получения уже увеличилось до 52 недель, так что быстро обновить парк серверов не выйдет. При этом ускорители способны справляться с ИИ-задачами на порядок быстрее CPU.

Источник изображения: Naver

Как утверждают отраслевые эксперты, Intel усовершенствовала технологии работы с ИИ-системами, желая угодить клиентам, ищущим альтернативы ускорителям NVIDIA. Например, Naver в течение месяца тестировала ИИ-сервер на основе процессоров компании перед его вводом в эксплуатацию. Вероятно, южнокорейский IT-гигант продолжит использовать CPU Intel новых поколений.

По мнению экспертов, сотрудничество Naver и Intel может привести к ослаблению позиций NVIDIA на рынке чипов для ИИ-вычислений. По некоторым данным, Microsoft объединила усилия с AMD, чтобы помочь последней в экспансии на рынке ИИ-процессоров. Компании сотрудничают для конкуренции с NVIDIA, контролирующей около 80 % мирового рынка ИИ-чипов.